Snažím se dostat RabbitMQ s Celery a Django na instanci EC2, abych udělal nějaké docela základní zpracování pozadí. Běžím rabbitmq-server 2.5.0 na velké instanci EC2. Stáhl jsem a nainstaloval jsem testovacího klienta podle pokynů zde (na samém konci stránky). Právě jsem nechal testovací skript jít a dostávám očekávaný výstup: rychlost přijímání: 2350 msg / s, minimální / průměrná / maximální latence: 588078478/588352905/588588968 mikrosekund rychlost přijímání: 1844 msg / s, minimální / průměrná / maximální latence: 588589350/588845737/589195341 mikrosekund rychlost přijímání: 1562 msg / s, minimální / průměrná / maximální latence: 589182735/589571192/589959071 mikrosekund rychlost přijímání: 2080 msg / s, minimální / průměrná / maximální latence: 589959557/590284302/590679611 mikrosekund Problém je v tom, že spotřebovává neuvěřitelné množství CPU: PID UŽIVATEL PR NI VIRT RES SHR S% CPU% MEM ČAS + PŘÍKAZ 668 rabbitmq 20 0 618m 506m 2340 S 166 6,8 2: 31,53 paprsek.smp 1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0: 24,75 java Dříve jsem testoval na mikroinstanci a úplně spotřebovával všechny zdroje na instanci. Lze to očekávat? Dělám něco špatně? Dík. Upravit: Skutečným důvodem pro tento příspěvek bylo to, že celerybeat chvíli vypadal, že je v pořádku, a pak najednou spotřeboval všechny zdroje v systému. Nainstaloval jsem si nástroje pro správu rabbitmq a zkoumám, jak jsou fronty vytvářeny ze celeru a ze zkušební sady rabbitmq. Zdá se mi, že celer tyto fronty osiřel a nezmizí. Tady je fronta vygenerovaná testovací sadou. Je vytvořena jedna fronta a všechny zprávy do ní vstupují a vystupují: Celerybeat vytvoří novou frontu při každém spuštění úkolu: Nastavuje parametr automatického mazání na hodnotu true, ale nejsem si úplně jistý, kdy budou tyto fronty odstraněny. Zdá se, že jen pomalu budují a pojídají zdroje. Má někdo nápad? Dík.
2021-01-29 08:16:20
Dobře, přišel jsem na to.
Zde je příslušná dokumentace:
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
Staré výsledky nebudou automaticky vyčištěny, takže se musíte ujistit, že výsledky spotřebujete, jinak se počet front nakonec vymkne kontrole. Pokud používáte RabbitMQ 2.1.1 nebo vyšší, můžete využít argument x-expires do front, který vyprší frontám po určitém časovém limitu poté, co budou nepoužívány. Vypršení platnosti fronty lze nastavit (v sekundách) nastavením CELERY_AMQP_TASK_RESULT_EXPIRES (ve výchozím nastavení není povoleno).
|
Chcete-li přidat řešení svého vlastního problému Erica Connera, http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices uvádí:
Ignorujte výsledky, které nechcete
Pokud se nestaráte o výsledky úkolu, nezapomeňte nastavit možnost ignore_result, protože ukládání výsledků plýtvá časem a prostředky.
@ app.task (ignore_result = True)
def mytask (…):
něco()
Výsledky lze dokonce globálně deaktivovat pomocí nastavení CELERY_IGNORE_RESULT.
To spolu s Ericovou odpovědí je pravděpodobně minimum minimálních osvědčených postupů pro správu vašich výsledků backend.
Pokud nepotřebujete backend s výsledky, nastavte CELERY_IGNORE_RESULT nebo vůbec nevytvářejte backend s výsledky. Pokud potřebujete backend s výsledky, nastavte CELERY_AMQP_TASK_RESULT_EXPIRES tak, aby byly chráněny proti nevyužitým výsledkům. Pokud ji pro konkrétní aplikaci nepotřebujete, nastavte místní ignorování, jak je uvedeno výše.
|
Tvoje odpověď
StackExchange.ifUsing ("editor", function () {
StackExchange.using ("externalEditor", function () {
StackExchange.using ("snippets", function () {
StackExchange.snippets.init ();
});
});
}, „code-snippets“);
StackExchange.ready (funkce () {
var channelOptions = {
tagy: "" .split (""),
id: "1"
};
initTagRenderer ("". split (""), "" .split (""), channelOptions);
StackExchange.using ("externalEditor", function () {
// Je nutné po úryvcích vypálit editor, pokud jsou úryvky povoleny
if (StackExchange.settings.snippets.snippetsEnabled) {
StackExchange.using ("snippets", function () {
createEditor ();
});
}
else {
createEditor ();
}
});
funkce createEditor () {
StackExchange.prepareEditor ({
useStacksEditor: false,
heartbeatType: 'answer',
autoActivateHeartbeat: false,
convertImagesToLinks: true,
noModals: true,
showLowRepImageUploadWarning: true,
reputationToPostImages: 10,
bindNavPrevention: true,
postfix: "",
imageUploader: {
brandingHtml: "Powered by \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46,2665 7,94324 47,1084 7,58816C47.4091 7,46349 47,7169 7,36433 48,0099 7,26993C48,9099 6,97977 49,672 6,73443 49,672 5,93063C49,672 5,22043 48,9832 4,61182 48,1414 4,61182C47,4335 4,61182 46,7256 4,91628 4,91650 4,416 43,1481 6,59048V11.9512C43.1481 13,2535 43,6264 13,8962 44,6595 13,8962C45,6924 13,8962 46,1709 13,2535 46,1709 11,9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10,1419432,144,14,144,14,144,44 41,5985 12,6954 41,5985 10,1419V6,59049C41,5985 5,28821 41,1394 4,66232 40,1061 4,66232C39,0732 4,66232 38,5948 5,2881 38,5948 6,59049V9,60062C38,5948 10,8521 38,2696 11,5455 37,0451 11,5455C35,535 521 35,4954 960062V6.59049C35.4954 5,28821 35,0173 4,66232 34,0034 4,66232C32,9703 4,6632 32,492 5,28821 32,492 6,59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "clip-rule = \" evenodd \ " = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.9913 4.66231 28.49.549.549.549.54455 4,47505 4,959 5,450 0,1369 4,56087 21,0134 6,57349 21,0134 9,27932C21.0134 11,9852 23,003 13,913 25,3754 13,913C26,5612 13,913 27,4607 13,4902 28,1109 12,6616C28.1109 12,7229 28,1161 12,77,712,122,122,121,121 15.2321 24.1352 14,9821 23,5661 14,7787 C23,176 14,6393 22,8472 14,5218 22,5437 14,5218C21,7977 14,5218 21,2429 15,0123 21,2429 15,6878721,2429 16,7375 22,9072 17,6335 25,6622 17,6335ZM24,1317 7,287 7,247 26,2417 26,2817 27.2119 7,09766 28,0918 7,94324 28,0918 9,29232C28.0918 10,6321 27,2311 11,5116 26,1024 11,5116C24,9737 11,5116 24,1317 10,6491 24,1317 9,273232 \ 19,8079 13,2535 19,8079 11,9512V8.12928C19.8079 5,82936 18.4879 4,62866 16,4027 4,62866C15,1594 4,62866 14,279 4,98375 13,3609 5,88013C12,653 5,05154 11,6581 4,62866 10,3573 4,62866C9,3433 6,62866 8,57809 7,508 4,049 7,08 7,144 7,48 7,08 7,32 8,47 7,48 7,08 7,32 6,46,51203 4,66232C5,47873 4,6632 5 00066 5,28821 5 00066 6,59049 V11.9512C5. 893 13,2535 11,3711 13,8962 12,4044 13,8962C13,4375 13,8962 13,9157 13,2535 13,9157 11,9512V8,90741C13,9157 7,58817 14,1111,118 6,911 15,1111 6,1111 87209 0,400291C0,843612 0,400291 0 1,1159 0 1,98861C0 2,87869 0,822846 3,57676 1,87209 3,57676C2.90056 3,57676 3,7234 2,87869 3,7234 1,98861C3,7234 1,1159 2,90056 0,00291 1,87209 # 0,00291Z \ u3 = 0,00291 \ c / a \ u003e ",
contentPolicyHtml: „Uživatelské příspěvky licencovány pod \ u003ca href =“ https: //stackoverflow.com/help/licensing „\ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =“ https://stackoverflow.com / legal / obsahová politika \ "\ u003e (obsahová politika) \ u003c / a \ u003e",
allowUrls: true
},
onDemand: pravda,
discardSelector: ".discard-answer"
, okamžitěShowMarkdownHelp: true, enableTables: true, enableSnippets: true
});
}
});
Děkujeme, že jste přispěli odpovědí na přetečení zásobníku!
Nezapomeňte na otázku odpovědět. Uveďte podrobnosti a sdílejte svůj výzkum!
Ale vyhnout se ...
Žádáme o pomoc, vysvětlení nebo reagujeme na další odpovědi.
Dělat prohlášení na základě názoru; Podpořte je referencemi nebo osobními zkušenostmi.
Chcete-li se dozvědět více, přečtěte si naše tipy na psaní skvělých odpovědí.
Koncept uložen
Koncept zahozen
Zaregistrujte se nebo se přihlaste
StackExchange.ready (funkce () {
StackExchange.helpers.onClickDraftSave ('# login-link');
});
Zaregistrujte se pomocí Google
Zaregistrujte se pomocí Facebooku
Zaregistrujte se pomocí e-mailu a hesla
Předložit
Zveřejněte jako host
název
E-mailem
Povinné, ale nikdy zobrazené
StackExchange.ready (
funkce () {
StackExchange.openid.initPostLogin ('. New-post-login', 'https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% 2frabbitmq-on-ec2-náročné-tuny-CPU% 23new-answer', ' page_page ');
}
);
Zveřejněte jako host
název
E-mailem
Povinné, ale nikdy nezobrazené
Zveřejněte svou odpověď
Vyřadit
Kliknutím na „Odeslat odpověď“ vyjadřujete souhlas s našimi podmínkami služby, zásadami ochrany osobních údajů a zásadami používání souborů cookie
Toto není odpověď, kterou hledáte? Přečtěte si další otázky týkající se značek django rabbitmq celer nebo položte vlastní otázku.